Order-Invariant Answers, Order-Sensitive Representations in Mathematical Reasoning
数学推理中答案不变与表示顺序敏感
🧭 数学推理 · 表示不变性分析
Operations Research and Financial Engineering, Princeton University
16 个 LLM 显示：重排规则下答题越准的模型，对规则顺序的表示区分度越高，Spearman 相关最高 0.86
📌 工作参考价值（4 点）
- 用 permutation SNR 做输入顺序鲁棒性诊断：在搜索/推荐中，规则、条件、特征或工具说明的顺序经常被重排；可参考论文中的 probe 思路，在 LLM 推理链路里计算不同顺序下的表示可分性与准确率，定位脆弱的 prompt 模板或排序敏感节点。
- 评估时不要只看答案正确率：如果业务需要模型对输入顺序不敏感（如多路召回条件重排、Agent 工具调用顺序无关），建议在离线评估中加入表示层对顺序的区分度指标，防止模型靠表面顺序走捷径，上线后遇到顺序变化掉点。
- 可做顺序不变的数据增强，但需约束表示：训练时可对同一规则/条件集合做多种顺序混排增强；但论文提示模型可能仍然学到顺序敏感表示，因此可加对比正则或一致性损失，拉近等价顺序的表示。
- 整体可移植性：主要是学术贡献，对推理/可解释性研究更有价值；电商推荐业务可直接复用的结论有限，但表示分析方法可迁移到 LLM 鲁棒性评估。